Gamma Distribution(감마 분포)

지수 분포의 일반화된 형태.

$X \sim Gamma (α, λ)$ 일 때, $α$ 번째 사건이 발생하기 까지 얼마나 시간이 걸리는 지를 의미한다. 그 때 그 PDF는

f (x; α, λ) = \frac{λ ^{α}}{Γ ( α )} x^{α - 1} e^{- λ x}

α (Shape parameter): 분포의 모양을 결정. $α = 1$ 일 때 지수 분포와 같다. 정수라고 하면, 몇 번째 사건인지를 의미하기도 한다.
λ (Rate parameter): 단위 시간당 사건 발생률. 지수 분포와 동일하다.

위 PDF는 Gamma function으로부터 만들어진다. $Γ (α)$ 로 나누는 건 적분하였을 때 1이 되도록 하여 확률의 Axiom을 만족시키게 하기 위해서이다.

Gamma function

Γ (α) = \int_{0}^{\infty} x^{α - 1} e^{- x} d x when α > 0

위 함수에서, 적분 안의 식을 이용해 감마 분포를 만든다. 위 식을 이용해 그대로 만들면, $λ = 1$ 이므로, 변수 변환을 이용해 $Y = X / λ$ 로 두고 구하면 맨 위의 일반적인 식이 나온다.

감마함수는 오일러 적분의 형태로 정의된다.

감마 함수는 팩토리얼을 실수 범위까지 확장한 것과 동일하다. 즉, $α$ 가 정수일 때는

Γ (α) = (α - 1)!

로 정의된다.

팩토리얼을 실수 범위로 확장하기 위해서는, 팩토리얼을 하나의 함수로 볼 때 각 정수에 해당하는 점을 잇는 곡선은 어떻게 그려져야 할 지의 문제로 생각해 볼 수 있다.

Occam's Razor에 의하면, 실수 범위는 가장 단순하고 일반적이게 그려지며, 확장에 있어 어떠한 추가적인 가정도 필요하지 않는 것이 제일 타당할 것이고, 이가 바로 Gamma function이다.

기본값: $f (1) = 1! = 1$ 을 만족.
로그 볼록성 (Log-Convexity): $ln (f (x))$ 가 볼록 함수(convex function)
재귀적 관계: 모든 양의 실수 $α$ 에 대해 $Γ (α + 1) = α Γ (α)$ .
1. 위 식은, 라플라스 변환에 의해 증명될 수도 있다.
2. $L [t^{α}] = \frac{Γ ( α + 1 )}{s ^{α + 1}} = \frac{α !}{s ^{α + 1}}$ 을 모두 만족하는 건 Gamma function이 유일하다.

n! \approx 2 πn (\frac{n}{e})^{n}

$n$ 이 커질수록 위 식은 부합해지며, 이는 곧 오일러 상수나 파이 같은 식이 팩토리얼과 어떻게 연관되는지를 보여준다.

예를 들어, $Γ (1/2) = π$ 를 만족한다.

감마분포와 지수 분포가 맞닿는 지점을 의미한다.

지수 분포는 푸아송 과정(Poisson Distribution)에서 첫 번째 사건이 발생할 때 까지 걸리는 시간을 모델링 하는데 사용 된다.

감마 분포는, 푸아송 과정에서 $α$ 번째 사건이 발생할 때 까지 걸리는 시간을 의미하게 된다. 즉, 지수 분포의 일반화된 형태이며 이는 Geometric Distribution과 Negative Binomial Distribution의 관계와 비슷하다.

즉, $Y \sim Gamma(n,1)$ 일 때 이는 $X_{j} \sim Exp (1)$ 에 대해 $Y = j = 1 \sum n X_{j}$ 와 동일하다. 각각의 지수분포는 서로 독립적이다. (즉, 독립적인 사건)

따라서,

합성곱의 성질에 의해 $M_{X_{j}} (t) = \frac{1}{1 - t}$ 이므로 $M_{Y} (t) = (\frac{1}{1 - t})^{n}$ 과 동일하다.
$M_{Y} (t) = E [e^{t Y}] = \int_{0}^{\infty} e^{t y} f_{Y} (y) d y = \frac{1}{Γ ( n )} \int_{0}^{\infty} e^{t y} y^{n - 1} e^{- y} d y$
1. $= \frac{1}{Γ ( n )} \int_{0}^{\infty} y^{n - 1} e^{- (1 - t) y} d y$ , $x = (1 - t) y$ 로 변환하면
2. $= \frac{1}{Γ ( n )} \int_{0}^{\infty} x^{n - 1} e^{- x} (\frac{1}{1 - t})^{n} d x = (\frac{1}{1 - t})^{n}$

따라서, 둘의 MGF가 같으므로 둘은 같은 분포. 즉, 지수 분포 확률 변수의 합은 감마 분포 확률 변수와 동일하다.

평균과 분산 계산을 위해 미리 MGF의 일반적인 형태를 계산해 놓는다.

$λ = 1$ 이라 하고, 나중에 변수 변환을 통해 계산한다.

E [X^{c}] = \frac{1}{Γ ( a )} \int_{0}^{\infty} x^{c} x^{a} e^{- x} \frac{d x}{x} = \frac{1}{Γ ( a )} \int_{0}^{\infty} x^{a + c} e^{- x} \frac{d x}{x} = \frac{Γ ( a + c )}{Γ ( a )}

E [X] = \frac{Γ ( α + 1 )}{Γ ( α )} = \frac{α Γ ( α )}{Γ ( α )} = α

변수 변환 적용하고 나면 평균은 $\frac{α}{λ}$ .

E [X^{2}] = \frac{Γ ( α + 2 )}{Γ ( α )} = \frac{( α + 1 ) Γ ( α + 1 )}{Γ ( α )} = \frac{α ( α + 1 ) Γ ( α )}{Γ ( α )} = α^{2} + α

V [X] = E [X^{2}] - (E [X])^{2} = α^{2} + α - α^{2} = α

마찬가지로 변수 변환 적용하면 $\frac{α}{λ ^{2}}$